Beyond Fixed Depths and Widths: Optimizing Textual Decoding Tries in LLM-based Generative Recommendation
优化LLM生成式推荐中的文本解码Trie结构
🧭 生成式推荐 · 解码Trie优化 ★ 深度解读
Michigan State University · Snap Inc.
提出BONSAI框架，通过最小集合覆盖构建自适应、低分支的文本解码Trie，将推荐准确率提升最高21.6%
📌 工作参考价值（4 点）
- 解码Trie结构是性能瓶颈：不要只关注term ID的语义质量，Trie的分支因子和深度对束搜索成功率影响巨大，应联合优化。
- 用最小集合覆盖控制分支：在构建词典树时，每层用贪婪最小集合覆盖算法选择特征，能显著降低浅层分支数，提升束搜索命中率，可直接迁移到现有term ID方法（如表2实验，仅重组ID即提升7.7%~9.1%）。
- 让ID长度自适应物品语义丰富度：不必强制所有物品用固定长度ID，简单物品短路径、复杂物品长路径，能减少信息损失，对于冷启动物品和新品类尤其有效。
- 两阶段训练对齐多路径表示：SFT用最长ID作为目标，RL阶段直接优化束搜索下的推荐成功率，让模型学会利用同一物品的多条有效ID路径，适合处理物品有多个别名或关键词的场景。